Vùng đất Mông Cổ ngày nay từng là nơi sinh sống của rất nhiều tộc người từ thời tiền sử. Họ chủ yếu là những người dân du mục và dần dần phát triển thành những liên minh lớn mạnh. Năm 209 TCN, người Hung Nô đã thành lập một liên minh hùng mạnh dưới sự lãnh đạo của vua Mặc Đốn. Họ đã đánh bại người Donghu, vốn kiểm soát miền đông Mông Cổ trước kia rồi nhanh chóng trở thành một thế lực lớn uy hiếp Trung Hoa trong 3 thế kỉ sau đó. Triều Tần đã phải xây dựng Vạn Lý Trường Thành để ngăn chặn những sự xâm nhập từ phía bắc của người Hung Nô. Sau khi bị người Trung Quốc đánh bại vào năm 428-431, một bộ phận người Hung Nô đã di chuyển sang phía tây và trở thành người Hung. Sau đó, người Rouran đã thay thế Hung Nô cai trị Mông Cổ cho đến khi bị đánh bại bởi người Đột Quyết.

Người Đột Quyết cai quản Mông Cổ trong hai thế kỉ VII và VIII. Tiếp đó, họ lại bị thay thế bởi tổ tiên của người Uyghur ngày nay, và sau đó là người Khiết Đan và người Nữ Chân. Vào thế kỉ X, Mông Cổ bị chia thành rất nhiều bộ lạc nhỏ liên kết rời rạc với nhau.